Beliau berkahwin dengan pemain badminton Jalani Sidek pada 23 Disember 1984 dan dikurniakan tiga anak, iaitu Puteri Suraya (lahir 1985), Puteri Suhaida (lahir 1989) dan Megat Deli (lahir 1994).[4] Pasangan ini memfailkan perceraian pada 27 Jun 2012 ekoran konflik rumah tangga yang berterusan.[5]

Anak keduanya, Puteri Suhaida meminjamkan suaranya untuk watak Rusitah Sidek, kakak kepada Sidek bersaudara dalam siri animasi Anak-Anak Sidek. Raja Azmi berkahwin kali kedua dengan gitaris kumpulan CRK, Mohd Eddie Ghazali pada 13 Oktober 2013.[6][7]

Beliau pernah ditangkap polis sekitar Ogos 2010 didapati mempunyai waran tangkap dari Mahkamah Tinggi Kuala Lumpur kerana tidak hadir perbicaraan pada 21 Julai 2010 bagi satu kes pertikaian komersial.[8]